我们正在尝试使用talend批处理(spark)作业访问Kerberos集群中的配置单元，但我们收到以下“无法获取主Kerberos主体以用作更新程序”错误。通过在talend中使用标准作业(非spark)，我们可以毫无问题地访问hive。观察结果如下:当我们运行sparkjobs时，talend可以连接到hiveMetastore并验证语法。例如，如果我提供了错误的表格命名它确实返回“找不到表”。当我们从没有数据的表中选择count(*)时，它返回“NULL”，但如果Hdfs(table)中存在某些数据，它会因错误而失败“无法获得主Kerberos主体以用作更新程序”。我不确定导致t
我正在尝试使用SparkR包从RStudio桌面(Windows)连接我的HDP集群。Sparkinit失败，没有凭据错误消息，这似乎是因为缺少kerberos凭据。(可以在下面找到确切的错误消息)我已经有一个kerberos自动收报机，但发现RStudio桌面不支持Kerberos身份验证，而我需要的是RStudioserverpro。但是，看起来RStudioserverPro无法安装在Windows上。如果我想坚持使用当前基于Windows的R和RStudio环境，是否还有其他连接Hadoop的方法？此外，在核心R本身(没有RStudio)中是否有任何包可以用来对Hadoop集群
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭4年前。Improvethisquestion这是我遇到过的事情，我找到了解决方案。从那里没有任何问题，我会把它作为一个问题发布，我会写下我的解决方案作为答案。环境:操作系统:CentosLinux、MacOS(BigSur)集群:ClouderaHadoopDistribution，工具:Kerberos问题:我通过“ktutil”创建了“user.keytab”文件来更新没有密码的krb票据，正如这里推荐的那样https://kb.
我正在尝试使用ooziejavaAPI获取oozie作业状态。目前它失败并显示消息线程“main”中的异常HTTP错误代码:401:未经授权我们在集群中使用kerberos身份验证和key表文件。请指导如何继续实现身份验证。我目前的计划是:importorg.apache.oozie.client.OozieClient;publicclassoozieCheck{publicstaticvoidmain(String[]args){//getaOozieClientforlocalOozieOozieClientwc=newOozieClient("http://myserver:1
我想学习使用kerberos的Hadoop安全性。我已经从this配置了kerberos博客，但不知道如何处理。我想知道它是如何运作的？如何将它用于Windows上的hadoop。如何为Windows配置它。给我任何教程链接或概念以了解它。 最佳答案 在这里您可以找到一些帮助链接；我想知道它是如何运作的？很好的介绍也很短-http://www.youtube.com/watch?v=kp5d8Yv3-0c解释Kerberos及其构建方式的对话-http://web.mit.edu/kerberos/www/dialogue.html
在Windows8中使用kerberos配置HDFS。Namenode成功登录并启动。Datanode未启动但登录成功。异常14/12/1017:51:55WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable14/12/1017:52:00INFOsecurity.UserGroupInformation:Loginsuccessfulforuserkumar@KUMAR.COMusingkeytabfileC
我正在尝试使用jdbc连接到配置单元。我不断收到此错误。我试着查找它，但找不到任何有用的东西。这是我的连接字符串:jdbc:hive2://hostname.xxx.com:10000/default;principal=hive/hostname.xxx.com@HADOOP_ENV.COM这是什么错误:java.lang.NoSuchMethodError:org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosTicket(Ljavax/security/auth/Subject;)Z
我正在使用CDH5.3.3并使用配置单元JDBC驱动程序连接到安全集群中的配置单元。我尝试使用使用keytab登录UserGroupInformation.loginUserFromKeytab(lprincipal,keytabpath);我为配置单元url使用了以下格式。jdbc:hive2://localhost:10000;AuthMech=1;KrbRealm=EXAMPLE.COM;KrbHostFQDN=hs2.example.com;KrbServiceName=hive示例代码://AuthenticatingKerberosprincipalSystem.out.p
我已将kerberos身份验证添加到apachehdfs，名称节点已启动并正在运行，但我无法启动数据节点，出现此异常:2012-08-2317:05:45,648ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:java.lang.RuntimeException:Cannotstartsecureclusterwithoutprivilegedresources.atorg.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:324)at
我的目标是在安全集群(kerberos)HDP2.3上运行MapReduce并连接到Oozie工作流调度程序中的Hive。我能够在直线中连接到配置单元，或者当我使用以下连接字符串将其作为java应用程序(yarnjar)运行时:DriverManager.getConnection("jdbc:hive2://host:10000/;principal=hive/_HOST@REALM","","");但是当我在Mapper中运行它时它失败了。ERROR[main]org.apache.thrift.transport.TSaslTransport:SASLnegotiationfai
